Sau khi Thế chiến thứ hai nổ ra, trước tình hình nguy cơ xảy ra chiến tranh với Đức ngày càng tăng cao, các gián điệp Đức xâm nhập vào lãnh thổ Liên Xô gia tăng hoạt động, công tác phản gián quân sự trong Lực lượng Vũ trang Liên Xô, được giao cho Cục 4 (Bộ phận đặc biệt, Особых отделов - ОО) thuộc Tổng cục An ninh nhà nước (Главное управление государственной безопасности - ГУГБ, GUGB) của Dân ủy Nội vụ (NKVD).[2] Ngày 3 tháng 2 năm 1941, cơ quan này được tách ra khỏi GUGB, trực thuộc trực tiếp NKVD. Phần còn lại của GUGB cũng được tách ra khỏi NKVD để thành lập Dân ủy An ninh nhà nước (Народный комиссариат государственной безопасности - НКГБ, NKGB)

Một cơ quan không chính thức đặc trách hoạt động phản gián chống gián điệp Đức tại Liên Xô được thành lập trên cơ sở Cục 3 Dân ủy Quốc phòng (NKO) và Ban 3 Dân ủy Nội vụ (NKVD). Theo giai thoại, ban đầu cơ quan này có biệt danh là SMERNESH, lấy ý nghĩa là "Bọn gián điệp Đức phải chết!" trong tiếng Nga (Смерть немецким шпионам - СМЕРНЕШ). Tuy nhiên về sau Stalin đã rút gọn lại ý nghĩa "Bọn gián điệp phải chết!" (Смерть Шпионам! -СМЕРШ), hàm ý mở rộng chức năng phản gián chống mọi gián điệp nước ngoài.[3] Hầu hết các tài liệu đều theo giai thoại này. Do đó, thuật ngữ này có thể xuất hiện ở cả hai dạng viết hoa (SMERSH) hoặc viết thường (Smersh).

Theo một số tài liệu, cơ quan này có tên gọi là "Cơ quan đặc nhiệm phản gián" (Специальные Методы Разоблaчения Шпионов - Смерш).